ท่านได้อุปสมบทเป็นพระภิกษุเมื่อวันที่ 2 พฤษภาคม พ.ศ. 2462 ที่วัดโพธิ์ศรี (ปัจจุบันคือวัดบ่อชะเนง) บ้านบ่อชะเนง ตำบลหนองแก้ว อำเภอหัวตะพาน จังหวัดอำนาจเจริญ สังกัดคณะมหานิกาย มีท่านพระครูพุฒิศักดิ์ฯ เจ้าคณะอำเภออำนาจเจริญ เป็นพระอุปัชฌาย์ มีพระอาจารย์บุญจันทร์ฯ เป็นพระกรรมวาจาจารย์ และจำพรรษาที่วัดโพธิ์ศรี 6 พรรษา

ต่อมาหลวงปู่ขาวเกิดความศรัทธาในปฏิปทาของพระอาจารย์มั่น ภูริทตฺโต จึงได้ญัตติกรรมเป็นพระธรรมยุติกนิกายเมื่อ พ.ศ. 2468 ขณะมีอายุได้ 37 ปี ณ พัทธสีมาวัดโพธิสมภรณ์ จังหวัดอุดรธานี มีพระอุบาลีคุณูปมาจารย์ (จันทร์ สิริจนฺโท) เป็นประธานพิธี พระธรรมเจดีย์ (จูม พนฺธุโล) ครั้งดำรงสมณศักดิ์เป็นพระราชาคณะที่ พระชิโนวาทธำรง เป็นพระอุปัชฌาย์ พระอาจารย์บุญ ปญฺญาวุฑโฒ เป็นพระกรรมวาจาจารย์